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DaimlerChrysler AG 
Stuttgart 



FTP/E KRO 



11 . 06. 1999 



Verfahren und Vorrichtung zur Detektion von Objekten im 
Umfeld eines Strafienf ahr zeugs bis in groBe Entfernung 

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur 
Detektion von Objekten im Umfeld eines Strafienf ahrzeugs bis in 
grolie Entfernung gemali den gattungsbildenden Merkmalen der Pa- 
tentanspruche 1 und 10. 

Um den Fahrer eines Kraf t f ahrzeuges im StraBenverkehr zu unter- 
sttltzen^ sind Fahrerassis^tenzsys teme entwickelt worden, die 
geeignet sind, vorausschau.end gefahrliche Situationen im Stra- 
5enverkehr zu erkennen.> Derartige Fahrerassistenzsysteme konnen 
den Fahrer abhangig von seinem Verhalten entweder warnen oder 
in die Fahrzeugf uhrung eingreifen. Hierdurch soil die Fahrsi- 
cherheit erhoht, der Fahrer von monotonen Fahraufgaben entla- 
stet und som.it das Fahren komfortabler werden. 

Aufgrund der hohen Anf orderungen an die Zuverlassigkeit von 
sicherheitssteigernden Systemen sind zum heutigen Zeitpunkt am 
Markt uberwiegend Komf ortsysteme verfiigbar. Als Beispiele hier- 
fur sind Einparkhil f en und intelligente Tempomaten zu nennen. 
Sicherheitssteigernde Fahrerassistenzsysteme sollen die umge- 
bende Verkehrssituation in immer starkerem Mafie erfassen und 
berucksichtigen . 

Aus der EP 0 558 027 Bl ist eine Einrichtung zum Erfassen des 
Abstands zwischen Fahrzeugen bekannt. Bei dieser Einrichtung 
erzeugt ein Paar von Bildsensoren ein Bild eines Objekts, das 
dem Fahrer angezeigt wird. Ein Bereich dieses Bildes wird in 
Fenster unterteilt. Die Abstande vom fahrenden Fahrzeug zum 
Objekt, das sich in den jeweiligen Fenstern befindet, werden 
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erfaBt. Hierbei werden die Abstande durch Vergleichen zweier 
von unterschiedlichen Bildsensoren auf genoinmener Bildinforma- 
tionen in verschiedenen Fenstern berechnet. Aufgrund der ermit- 
telten Abstandsinf ormationen wird das jeweilige Objekt ermit- 
telt. Es wird ein den relevanten Bildbereich unterteilendes 
Gatter eingesetzt, welches das zu erfassende Objekt umgibt und 
eine weitere Bildinf ormation liefert. Eine Symmetrie dieser 
Bildinformation wird ermittelt und die Existenz eines voraus- 
fahrenden Fahrzeugs wird durch Bestimmen einer Stabilitat einer 
horizontalen Bewegung einer Symmetrielinie und einer zweiten 
Stabilitat der Abstande uber die Zeit vorhergesagt . 

Diese bekannte Erf assungseinrichtung wird dazu eingesetzt, vor 
dem sich bewegenden Fahrzeug befindliche Fahrzeuge zu erfassen 
und zu erkennen. Eine zuverlassige Erkennung von Objekten wird 
jedoch nur im Nahbereich erreicht, da dort die einfache Erf as- 
sung von Symmetrielinien ausreichend stabil durchgeftihrt werden 
kann. Im Fernbereich reicht diese einfache Syinmetrieerf assung 
aufgrund der geringen Auflosung im Bild und der sich daraus 
ergebenden Ungenauigkeit bei der Bestinraiung des Objekts allein 
nicht mehr aus . 

Jedoch sind gerade an eine zuverlassige Obj ekterkennung hohe 
Anforderungen zu stellen, damit dem Fahrer keine falschen In- 
formationen gegeben werden, die zu falschen und gefahrlichen 
Reaktionen filhren kOnnen. Bei intelligenten Systemen konnte das 
Fahrzeug selbst aufgrund der Falschinf ormationen verkehrsge- 
fahrdend reagieren. VerlaBliche Inf ormationen sind etwa bei der 
spurgenauen Erkennung von Fahrzeugen in grower Entfernung so- 
wohl in als auch entgegen der eigenen Fahrtrichtung unabding- 
bar . 

Die Aufgabe der Erfindung besteht darin, ein Verfahren und eine 
Vorrichtung zur Detektion von Objekten im Umfeld eines StraiJen- 
fahrzeugs bis in groRe Entfernung anzugeben, welches bzw. wel- 
che eine zuverlassige Erfassung von Objekten, insbesondere von 
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StaBenf ahrzeugen vor und/oder hinter einem fahrenden Fahrzeug 
und deren situativer Relevanz ermoglicht, 

Diese Au.f«g.a?be wird ^g.emaB der Erfimdung ver f ahrenstechnisch 
durch; die Meitkmaae,^des Patentan^spruchs 1 und vorrichtungsstech- 
nisch^du:rch die^**Merkmale des Patentanspruchs 10 gelost. Die 
Unteranspriiche betreffen vorteilhafte Weiterbildungen. 

DemgemaJi ist ein Verfahren zur Detektion von Objekten im Uinfeld 
eines StraUenf ahrzeugs bis in groBe Entfernung vorgesehen, bei 
welchem die Entfernung eines bewegten Fahrzeugs zu einem oder 
mehreren Objekten durch Auswertung von Stereobildpaaren berech- 
net und Eigenschaf ten der detektierten Objekte ermittelt wer- 
den . 

Die Bestiimuing • der Ei^ge^nsc^ detektierten Obj ekte soil 

der Klarung ihrer Relevanz ,£ur das eigene Fahrzeug dienen und 
somit zum Sit'-uatronsvexs'tehenv beitra^gen. 

Die Detektion kann vorzugsweise nach vorne oder nach hinten 
erfolgen und etwa fur Stauwarnung, Abstandsregelung zum Vorder- 
mann oder Ruckraumiiberwachung eingesetzt werden. Ein wichtiger 
Gesichtpunkt ist hierbei, daB die situative Relevanz bzw. das 
Gef ahrenpotential der detektierten Objekte aus deren Abstand 
zum eigenen Fahrzeug und der ermittelten Relativgeschwindigkeit 
ermittelt wird. 

Anstelle der Auswertung von Stereobildpaaren, die von einer 
Stereoanordnung bestehend aus optischen Sensoren oder Kameras 
aufgenommen werden, kon^nen prinzipiell auch einzeln aufgenomme- 
ne Bilder .unterschiedli-Gher— Herkunf t zur Entf ernungsbestimmung 
ausgewertet werden . 

GemaB einem Grundgedanken wird eine entf ernungsbasierte Bild- 
segmentierung mittels Stereobildverarbeitung und eine Objekter- 
kennung in den segmentierten Bildbereichen durchgef tihrt . Durch 
diese Vorgehensweise konnen Objekte nicht nur zuverlassig hin- 
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sichtlich ihrer Entfernung sondern auch hinsichtlich bestiininte 
Merkinale erkannt und bewertet warden. 

Die detektierten Objekte konnen insbesondere Strafienf ahrzeuge 
und/oder Strafienmarkierungen und -begrenzungen sein, so dali 
sich beispielsweise die Position eines Straiienf ahrzeugs in ei- 
ner bestimmten Fahrspur ermitteln lafit. 

Zusatzlich ist es vorteilhaft, die relative Lage und die Rela- 
tivgeschwindigkeit der detektierten Objekte zueinander und zum 
bewegten Fahrzeug zu kennen, urn die situative Relevanz der de- 
tektierten Objekte zu ermitteln, Hierzu wird die TUds tandsmes- 
sung ausgewertet und eine f ahrspurgenaue Ob j ekt zuordnung ermit 
telt. 

Bei der Bildsegmentierung kann eines der auf genommenen Stereo- 
bildpaare nach signif ikanten Merkmalen von zu erfassenden Ob- 
jekten abgetastet werden. Der Abstand der signif ikanten Merkma 
le lafit sich dann durch Vergleichen der jeweiligen Merkmale in 
einem Stereobild des Stereobildpaares mit denselben korrespon- 
dierenden Merkmalen im zeitgleich auf genommenen anderen Stereo 
bild des Stereobildpaares mittels Kreuzrelation bestimmen, wo- 
bei die dabei auftretenden Disparitaten ausgewertet werden. 

Durch Bestimmen des Abstands signif ikanter Merkmale im Pixelbe 
reich werden 3D-Punkte in der realen Welt relativ zum Koordina 
tensystem der Mefieinrichtung ermittelt. Die so gewonnen Infor- 
mationen von 3D-Punkten sind somit von unterschiedlichen Objek- 
ten bestimmt, wie etwa Fahrzeuge, Strafienmarkierungen, Leit- 
planken usw. . 

Merkmale ahnlicher Abstandswerte und/oder ahnlicher Hohe werdei 
zusammengef afit, urn Cluster zu bilden. Erhabene Objekte und/ode] 
flache Objekte werden durch Zusammenf assen (Clusterung) der 3D- 
Punkte nach vorbest immten Kriterien detektiert . Diese Unter- 
scheidung zwischen erhabenen und flachen Objekten ist flir die 
sichere Ob j ekterkennung, z.B. die Erkennung von anderen Kraft- 
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fahrzeugen und die Unterscheidung zu StraBenmarkierungen sehr 
wichtig. Flache Objekte konnen z.B. StraBenmarkierungen, Bord- 
steine, ^Leitpia-nteen. aia^w.,,Aund ,erh Obj-ek-te Fahrzeuge, Leit- 

pfosten, Briickenpfe.iler, Laterne-nmasten usw, sein. Da heutzuta- 
ge in modernen Kraf tf ahszeugen entspreohend hohe Rechenleistun- 
gen realisierbar sind, ist eine derartige Bildsegmentierung 
mittels Entfernungsbestiinmung und Clusterung sicher und schnell 
durchfiihrbar 



Es konnen zur Obj ekterkennung Objekthypothesen ermittelt war- 
den, welche durch Vergleich von Obj ektmode lien verifiziert wer- 
den . 



So lassen sich zur Obj ekterkennung die segtnentierten Bildberei- 
che nach vorbestiminten, statistisch verif izierten 2D-Merkmalen 
der zu erkennenden Objekte abtasten und die detektierten Objek- 
te unter Verwendung eines neuronalen Netzes zur Klassif ikation 
einer bestd-inititen Obj-ektart -vergleichen . Auf diese Weise wird 
eine zuverlassige Obj ekterkennung durch'gef iihrt . 

Die relevanten Objekte konnen iiber die Zeit verfolgt und deren 
Abstand und laterals Position relativ zum eigenen Fahrzeug be- 
stimmt werden, um das dynamische Verhalten der relevanten Ob- 
jekte zu bewerten. Erst mit Kenntnis des dynamischen Verhaltens 
der ermittelten Objekte sind sinnvolle Reaktionen des Fahrers 
Oder des Fahrzeuges moglich. Eine „vorausschauende" Fahrweise 
wird somit gefordert. 

Weiterhin konnen durch dieses sogenannte Tracking sporadisch 
auftretende Phantomobj ekte unterdrilckt und die gesamte Erken- 
nungsleistung gesteigert werden. Durch Tracking der detektier- 
ten Objekte uber die Zeit konnen die Obj ekteigenschaf ten wie 
z.B. Entfernung, Relativgeschwindigkeit und Relativbeschleuni- 
gung beispielsweise unter Verwendung eines Kalmanf liters von 
Mefirauschen befreit werden. 
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GemaB einem weiteren Grundgedanken ist eine Vorrichtung zur 
Detektion von Objekten im Umfeld eines Stralienf ahrzeugs bis in 
grofle Entfernung vorgesehen, welche eine Erf assungseinrichtung, 
eine Auswerteeinrichtung zur entf ernungsbasierten Bildsegmen- 
tierung, eine Extraktionseinrichtung zur Ermittlung relevanter 
Bildbereiche, und eine Erkennungseinrichtung fur Objekte in den 
segmentierten Bildbereichen aufweist. Mit einer derartigen De- 
tektionseinrichtung wird eine zuverlassige Abstandsbestimmung 
und Erkennung von Objekten, insbesondere von StaBenf ahrzeugen 
vor und/oder hinter einem fahrenden Fahrzeug ermoglicht 

Mit Hilfe einer Klassif izierungseinrichtung, lassen sich Objek- 
te, wie etwa Stralienf ahrzeuge in den extrahierten Bildbereichen 
ermitteln. Es ist eine Bestimmungseinrichtung fiir typische 
Merkmale von Objekteri, nach welchen in den relevanten Bildbe- 
reichen gesucht wird, vorgesehen. Hierdurch werden etwa charak- 
teristische Kanten und Ecken in den extrahierten Bildbereichen 
ermittelt. Eine Vergleichseinrichtung vergleicht die Orte der 
typischen Merkmale mit der internen 2D Modellvorstellung eines 
neuronalen Netzes . 

Die Anzahl der zu klassif izierenden extrahierten Bildbereiche 
im Bild laBt sich reduzieren, wenn diese durch eine einfache 
zeitliche Verfolgung (Tracking) auf ihre ortliche Konsistenz 
hin uberpriift werden. 

Mit Hilfe einer Trackingeinrichtung lassen sich Obj ekthypothe- 
sen und die resultierenden Objekte tiber die Zeit verfolgen, urn 
deren dynamisches Verhalten zu ermitteln. 

Um den Abstand und die laterale Position der resultierenden 
Objekte relativ zum eigenen Fahrzeug zu ermitteln, sind eine 
Abstandbestimmungseinrichtung und eine Positionsbestimmungsein- 
richtung vorgesehen . 
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Neben dem beschriebenen stereobasierten Ansatz sind prinzipiell 
auch Objekterf assungsverf ahren auf der Basis von Radar- 
und/ ode r I n S-r^ar o t s i gnai en. im - jF-e-isnteiece ich^s^^fmo . 

Anhand der naohstehenden Beschreibung im ' :Z.us,a™Tienhang mit den 
beigefug4±''en Zeicbnungen werden veitere Vorteile, Merkmale und 
Einzelheiten der Erfindung deutlicher. 

Es zeigen: 

Fig. 1 eine schematische Darstellung der Verf ahrensschritte 
gemaii der Erfindung; 

Fig. 2 eine schematische D.ars»tellung zur -Verdeutlichung des 
P r i n z i p s d e r E n t f e r nung sb e s t iinmun g , be i.. parallel ange- 
orxdneten Kameras gleisfeer^^ B^n^wei^e . 

Fig. 3 eine^ sche'iaabis'ohe ^Da'a^s^feellung.i^z.ur ¥:e'rd.eut,lichung des 

Prinzips^'der Korrespt)nd^'ri^zsuGh ini1:te*ls Kreuzkorrelati- 
on; 

Fig. 4 eine schematische Darstellung zur Verdeutlichung des 
Prinzips der 2D Merkmalsextraktion bei der Auswertung 
durch ein neuronales Netz gemaii der Erfindung.. 

Fig. 5 eine schematische Darstellung zur Verdeutlichung des 
Prinzips der Koordinatennormierung; und 

Fig. 6 eine Darstellung eines Entf ernungspro.f ils eines naher- 
kommenden Fahrzeugs . 

Im folgenden wird die Bildsegmentierung mittels S tereobildver- 
arbeitung beschrieben, bei der erhabene Objekte detektiert wer- 
den. Dies wird durch Clusterung einzelner Merkmale mit ahnli- 
Chen Entfernungen durchgef uhrt . AnschlieBend wird ein Fahrzeug- 
erkennungsverfahren vorgestellt, mit dem Straiienf ahrzeuge in ■ 
den segmentierten Bildbereichen erkannt werden. Fahrzeugtypi- 



P032258/DE/; 



sche Merkmale warden hierzu extrahiert und anschlieBend mit der 
internen Fahrzeugmodellvorstellung eines neuronalen Netzes ver- 
glichen. Die prinzipielle Vorgehensweise ist schematisch in 
Figur 1 gezeigt. 

Eine Monobildverarbeitung ist bei Einsatz ahnlicher Mittel und 
ahnlicheiti Vorgehen grundsatzlich auch moglich. 

Die Eigenschaft der Erhabenheit von Strai^enf ahrzeugen gegenuber 
der Straiie dient dem hier vorgestellten Verfahren zur Bildseg- 
luentierung. Hierzu wird ein S tereokamerasys tern eingesetzt, rait 
dem es moglich ist, Entfernungen signif ikanter Merkmale, die im 
Kamerabild an StralJenf ahrzeugen auftreten, zu bestimmen. Mit- 
tels dieser Information ist eine Aussage liber erhabene Objekte 
moglich. Die standig wachsende Rechenleistung, die im Fahrzeug 
verfugbar ist, erlaubt heutzutage die echtzeitf ahige Analyse 
von Stereobildpaaren . 

Es ist auch moglich, zuverlassig zu ermitteln, auf welcher 
Fahrspur sich ein erfaBtes Straiienf ahrzeug befindet. Es laiit 
sich dann eine Aussage iiber die situative Relevanz dieses er- 
faBten StraBenf ahr zeugs aufgrund seiner Lage zum eigenen Fahr- 
zeug treffen. Dementsprechend kann dann der Fahrer und/oder das 
eigene Fahrzeug reagieren. 

Obwohl f ahrzeugtaugliche Radarsysteme keine ausreichende late- 
rale Auflosung fiir eine Spurzuordnung bieten, Inf rarotsysteme 
Auflosungs- und Reichweitenprobleme besitzen und Ultraschall 
generell fur den Nahbereich einsetzbar ist, ist es prinzipiell 
denkbar, diese Systeme anstelle oder in Kombination zu Stereo- 
kamerasystemen einzusetzen . 

Das Prinzip der Entf ernungsbestimmung bei der verwendeten pa- 
rallelen Kameraanordnung ist in Figur 2 auf Basis des Lochkame- 
ramodells dargestellt. Der Punkt P in der Welt wird uber die 
Pro j ektionszentren auf die Sensoroberf lachen jeder Kamera pro- 
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jiziert. u^hzw, stellen die Abweichung vom Pro j ektionszen- 
trum dar. Ihre Differenz 

Aw == 

wird als Di^sparitat AD->bBzelchnet Mittels • Trigonometrie und 
den Grofien der Kameraanordnung (Brennweite f und Basisweite b) 
kann der Abstand rfberechnet werden. 

Aw 

Hierbei stellt b die Basisbreite, /die Brennweite und a? den 

Abstand zuin Punrkt P dar . •. w^ und. ^si^nd^.die Ent#e*rnungen der 

Projektionen des Punktes P- auf die Sensorobe-rf lache . 

Im ersten Verarbeitungsschritt der Bildsegmentierung wird in 
eineiu der S^t'e-r^eobildpaare^'nach signif ikanten Merkmalen gesucht 
Nur zu VersuGhs^z^weGken -la^^ sich eine ent'spsiE^e^Ghen'de (nicht ge- 
zeigte) Darstellufig auf einem Bildschirm^' oder einer anderen 
Anzeigeeinrichtung darstellen. Signifikante Merkmale liefern 
z.B. Kanten, die zuverlassig bei StraBenf ahrzeugen auftreten.. 
Die Orte der selektierten Kanten, die den zu korrelierenden 
Bildbereich des zweiten Verarbeitungsschritts definieren, las- 
sen sich etwa durch rechteckige Rahinen in der Bildschirmdar- 
stellung markieren. 

Zur Bestimmung des 7\bstandes der am Bildschirm dargestellten 
Merkmale werden die jeweiligen Disparitaten durch Vergleich mi 
dem zeitgleich- auf^genommenen zweiten Stereobild ermittelt. 
Hierzu f indet . eine Suche jedes rechteckigen Bildbereiches mit- 
tels Kreuzkorrelation im korrespondierenden Bild statt. In Fi- 
gur 3 ist eine schematische Darstellung zur Verdeutlichung des 
Prinzips der Korrespondenzsuche mittels Kreuzkorrelation ge- 
zeigt . 
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Aufgrund der parallelen Ausrichtung der Kameras lafit sich der 
Suchbereich in vertikaler Richtung auf die Epipolare, in dem in 
Figur 3 gezeigten Falle die jeweilige Zeile, einschranken. In 
horizontaler Richtung wird iin korrespondierenden Bild je nach 
zulassigen Disparitaten der entsprechende Suchbereich defi- 
niert . 



Durch Verwendung der KKFMF (lokale mi ttelwertf reie, normierte 
Kreuzkorrelationsfunktion) als Korrelationsf unktion wirken sich 
Helligkeitsunterschiede in den Bildpaaren, die z.B. durch un- 
terschiedliche Sonneneinstrahlung oder unterschiedliche Rege- 
lung der Kameras auftreten, nur geringfUgig auf den Korrelati- 
onswert aus . 

Der Korrelationskoef £ izient der KKFMF wird f olgendermaflen be- 
rechnet : 

n-\ Tfi— 1 



KKFMF(x,y) = , 



n—l m—l 



f j=o 1=0 y=o 1=0 



Die Werte F(i,j) und P^ix-^-i.y-h J) reprasent ieren die mittelwert- 
freien Grauwerte der rechteckigen Bildbereiche F(i,j) und 
Pr{x+i,y+j). Aufgrund der Normierung bewegen sich die Ergebnis- 
se der KKFMF im Intervall [-1,1]. Der Wert 1 steht fur paarwei- 
se Obereinstimmung, -1 fur entsprechend inverse Obereinstim- 
mung. 

Im letzten Verarbeitungsschritt der Bildsegmentierung findet 
eine Zusammenf assung (Clusterbildung) von Merkmalen mit ahnli- 
chen Abstandswerten statt (vgl. Figur 1). Die relative Hohe der 
gebildeten Cluster wird mit einer festen Mindesthohe vergli- 
chen, um ein erhabenes Objekt sicherzustellen . Erhabene Objekte 
sind dabei durch Merkmale mit ahnlichen Abstandswerten und fla- 
che Objekte durch Merkmale mit ahnlichen Hohenwerten bestimmt. 
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Die resultierenden Cluster lassen sich zu Versuchszwecken in 
eine (naTeht3ig'e>2.efrg<fee) r^aa-le- Bi'ldachi'^emjda^rs*^^ beobach- 
teten Szehe als^ Rahmen einblenden. Zu^satzlich lassen sich an 
den Raliitren. dde zu.j^.den' vs.agmentierten Bildbereichen gehorenden 
Entf er-n^Taipi'gen in-^Zah^ie^nwerten angeben. 

Neben Fahrzeugen werden auch andere erhabene Objekte, wie z.B. 
Leitpfosten und Strafienrander segmentiert. Um fehlerhafte Ob- 

j ekthypothesen zu verwerfen, wird dem stereobasierten Objekt- 
segmentierungsprozeii innerhalb der detektierten Bildbereiche 
eine 2D-0b j ekterkennung nachgeschaltet . 

Iiti Folgenden wird nun die 2D-Me3fkinalsex:fciraktion und die Fahr- 
zeugerkennung- beschrieben. Diese Verarbeitungss:chri tte sind 
ebenf alis^.in;:rder "Figur 1 "barges tellt . 

Strai5eniavhreeoge»**we#&en. in^^der*-Bi>debene signif i«ka^nte Merkmale, 
z.B. Kantren.'Und'!' Ecken ' s^owiers^yinmetrie -auf . W±&s& Merkmale wur- 
den zur-Suche-^^mpirisch ermittelt und durch.. -dire'kt.en Vergleich 
mit einem Fahrzeugmodell die Erkennung von StraJ^enf ahrzeugen 
durchgefuhrt . In dem hier gezeigten Verfahren wird nach stati- 
stisch verif izierten 2D"Merkmalen gesucht, die anschlieiJend mit 
der internen Modellvorstellung von Fahrzeugen eines neuronalen 
Netzes verglichen werden. In Figur 4 ist eine schematische Dar- 
stellung zur Verdeutlichung des Prinzips der 2D Merkmalsextrak- 
tion bei der Auswertung durch ein neuronales Netz gezeigt. 

Zur Ermittlung signif ikanter und statistisch verif izierter 2D- 
Merkmale von . StraJi.enf ahrzeugen wurde ein ,Datensatz von 50 Bii- 
dern, die* Autos in -verschiedenen Szenen zei-^gen, zu" Grunde ge- 
legt. Unter Verwendung der unten aufgefuhrten Verfahren fand 
eine Bestimmung von mehreren 9x9 groiien typischen Mustern 
statt, die in den verwendeten Szenen gehauft auftreten (weiter- 
hin als Vergleichsmuster bezeichnet) . 
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Die Vergleichsmuster treten an bestiminten Stellen des Fahrzeu- 
ges typisch auf . Beispielsweise konnen die Merkmale im unteren 
Bereich der Fahrzeuge vorkommen. An diesen Stellen weisen die 
meisten StraJJenf ahrzeuge ahnliche strukturellen Flachen auf. 
Diese sind beispielsweise der Schatten unter dem Auto und die 
Ecken an den Reifen sowie der Verlauf der strukturellen Flachen 
an den Scheinwerf ern . 

In den segmentierten Bildbereichen wird ein Suchfenster zur 
Berechnung der durch die vorgegebenen Vergleichsmuster bestimin- 
ten Merkmale definiert. Entsprechend der Entfernung des hypo- 
thetischen Objektes wird ein in der GroBe angepaiites Suchfen- 
ster definiert und mit den Vergleichsmustern korreliert- Die 
Orte im Suchfenster, die ein lokales Maximum der Korrelations- 
funktion aufweisen, kennzeichnen signifikante Merkmale, wie 
Figur 5 zeigt. 

Aus den Koordinaten der Extrema und der zugeordneten Ver- 
gleichsmuster erhalt man die Eingangsmerkmale fur das einge- 
setzte f eedf orward-Net z . Dieses wurde fur das Auf treten typi- 
scher Merkmalskonstellationen, die Fahrzeuge kennzeichnen, 
trainiert . 

Das erf indungsgemaiie, echt zeit f ahige Verfahren zur stereoba- 
sierten Verfolgung von Objekten in groJier Entfernung wurde in 
realen Strafienszenen erprobt. In Figur 6 sind die gemessenen 
Entf ernungsdaten eines sich nahernden Fahrzeugs dargestellt. 
Wie in Figur 6 ersichtlich, tritt in 100 Meter Entfernung eine 
Messungenauigkeit von ca. ±50 cm auf. 

Um die ermittelten Entf ernungsdaten rauschfrei und weitgehend 
frei von Meiifehlern aufgrund fehlerhaft ermittelter Korrespon- 
denzen zu halten, bietet sich der Einsatz eines Kalmanf liters 
an, der durch die zeitliche Betrachtung der Mefiwerte aussage- 
kraftigere Ergebnisse liefert. Durch die Erweiterung der 2D- 
Merkmalsextraktion um TexturmaBe und Symmetrieoperatoren, sind 
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weitere Potentiale zur Verbesserung des vorgestellten Verfah- 
rens gegeben. 

Zu-sammenf assend ist f es.tzuhalfeen, ;;'dai5 mit dem er f indungsgemafien 
Verf ahren eiee zuverlass.%e Absfeandsbestiinmung und Erkennung 
von''"Obje'kt'en, von Stailienf ahrzeugen vor und/oder 

hinter einem fahrenden Fahrzeug bis in grolie Entfernung moglich 
ist . 
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Patentanspriiche 



1. Verfahren zur Detektion von Objekten im Uinfeld eines Stra- 
Benfahrzeugs bis in groBe Entfernung, bei welchem die Ent- 
fernung eines bewegten oder stehenden Fahrzeugs zu einem 
Oder mehreren Objekten durch Auswertung von Stereobildpaa- 
ren berechnet und Eigenschaf ten der detektierten Objekte 
ermittelt werden, 

dadurch gekennzeichnet, dafi 

eine entf ernungsbasierte Bildsegmentierung mittels Stereo- 

bildverarbeitung durchgefuhrt wird, und 

eine Objekterkennung in den segitientierten Bildbereichen 
durchgefuhrt wird . 

2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, daB 

die detektierten Objekte insbesondere Strafienf ahr zeuge 

und/oder Straiienmarkierungen und -begrenzungen sind. 

3. Verfahren nach Anspruch 1 oder 2, 
dadurch gekennzeichnet, daB 

die relative Lage und die Relativgeschwindigkeit der detek- 
tierten Objekte zueinander und zuiti bewegten Fahrzeug durch 
Auswerten der Abstandsmessung ermittelt werden, um eine 
f ahrspurgenaue Objektzuordnung und/oder die situative Rele- 
vanz der detektierten Objekte zu ermitteln. 

4. Verfahren nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, dafi 

eines der auf genommenen Stereobildpaare nach signif ikanten 
Merkmalen von zu erfassenden Objekten abgetastet wird, und 
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der Abstand der signif ikanten Merkmale durch Vergleichen 
der jeweiligen Merkmale in einem Stereobild des Stereobild 
paa^iises mit -den^sei^ben korr'e>S',poindde>:Be^^^m^^^^ im zeit- 

gleith auf gen©'imeia^en ande^r-en Stereobild des Stereobildpaa- 
res bestiinmt- wird, wotoei die dabei . auf tretenden Disparita- 
ten ^mifetels Kreuzkorrelation ausgewertet werden. 

5. Verfahren nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, dafi 

durch Bestimmen des Abstands signif ikanter Merkmale im Pi- 
xelbereich 3D-Punkte in der realen Welt relativ zum Koordi 
natensystem der Mefieinrichtung bestimmt werden. 

6. Verfahren nach einem. der -Anspruche 1 bis 5, 
dadurch g e k e- n n z e i c h n* e t, daB 
Bildbereiche" erhateener 'Ob^jekte undfoder fiat:her Objekte er- 
mit t el t- werden, und 

erhabene Obj ekte undAader f lache Ob j ekte:;^4urch Zusammenfas- 
sen (Clusterung) von 3D-Funkten ..nach vorbestimmten Kriteri- 
en detektiert werden. 

7. Verfahren nach einem der Anspruche 1 bis 6, 
dadurch gekennzeichnet, daB 

zur Objekterkennung Objekthypothesen ermittelt werden^ wel- 
che durch Vergleich von Ob j ektmodellen verifiziert werden. 

8. Verfahren nach einem der Anspruche 1 bis 1, 
dadurch gekennzeichnet, dafi 

zur Objekterkennung die se-gmentierten Bildbereiche nach 
vorbestimmten, statistisch verif izierten 2D-Merkmalen der 
zu erkennenden Objekte abgetastet werden, und 
die detektierten Objekte unter Verwendung eines neuronalen 
Netzes zur Klassif ikation einer bestimmten Objektart ver- 
glichen werden. 
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9. Verfahren nach einem der Anspruche 1 bis 8, 
dadurch gekennzeichnet, daB 

die relevanten Objekte uber die Zeit verfolgt und deren Ab- 
stand und laterale Position relativ zum eigenen Fahrzeug 
bestimmt werden, urn das dynamische Verhalten der relevanten 
Objekte zu bewerten. 

10. Vorrichtung zur Detektion von Objekten im Umfeld eines 
Straiienf ahrzeugs bis in groBe Entfernung, umfassend eine 
Erf assungseinrichtung 

gekennzeichnet durch, 

eine Auswerteeinrichtung zur entf ernungsbasierten Bildseg- 
mentierung, 

eine Extraktionseinrichtung zur Ermittlung relevanter Bild- 
bereiche^ und 

eine Erkennungseinrichtung ftir Objekte in den segmentierten 
Bildbereichen , 

11. Vorrichtung nach Anspruch 10, 
gekennzeichnet durch, 

eine Klassif izierungseinrichtung, um Objekte in den extra- 

hierten Bildbereichen zu ermitteln, 

eine Bestimmungseinrichtung fur typische Merkmale von Ob- 
jekten, nach welchen in den relevanten Bildbereichen ge- 
sucht wird, 

eine Vergleichseinrichtung zum Vergleichen der Orte der ty- 
pischen Merkmale mit der internen 2D Modellvorstellung ei- 
nes neuronalen Netzes. 

12. Vorrichtung nach Anspruch 10 oder 11, 
gekennzeichnet durch, 

eine Trackingeinrichtung zum Verfolgen der resultierenden 
Objekte uber die Zeit. 
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13. Vorrichtung nach einem der Anspruche 10 bis 12, 
gekennzeichnet durch, 

e ine«flp^Skteaiidfe i eht ung^und- • ei-ne Po s i t i onsb e - 

"stiinmuiSgseiririchtung zum Bestiininen . der . lateralen Position 
der '-resultierenden Obgekte relativ zum eigenen Fahrzeug. 

14. Vorrichtung nach einem der Anspruche 10 bis 13, 
dadurch gekennzeichnet, daB 

die Erf assungseinrichtung Radar- und/oder Inf rarotsensoren 
und/oder eine Stereo- oder Monoanordnung optischer Sensoren 
Oder Kameras aufweist. 
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Zusammenf assunq 



Die Erfindung betrifft ein Verfahren zur Detektion von Objekten 
im Umfeld eines StraBenf ahrzeugs bis in groBe Entfernung, bei 
welchem die Entfernung des bewegten Fahrzeugs durch Auswertung 
von Stereobildpaaren berechnet und Eigenschaf ten der detektier- 
ten Objekte ermittelt werden, wobei eine entf ernungsbasierte 
Bildsegmentierung mittels Stereobildverarbeitung und eine Ob- 
jekterkennung in den segmentierten Bildbereichen durchgeftihrt 
wird. 

Es wird weiterhin eine Vorrichtung zur Detektion von Objekten 
im Umfeld eines StraBenf ahrzeugs bis in groBe Entfernung vorge- 
schlagen, umfassend eine Erf assungseinrichtung, eine Auswerte- 
einrichtung zur entf ernungsbasierten Bildsegmentierung, eine 
Extraktionseinrichtung zur Ermittlung relevanter Bildbereiche, 
die erhabene Objekte kennzeichnen, und eine Erkennungseinrich- 
tung fiir Objekte in den segmentierten Bildbereichen. 



(Fig. 4) 
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